![arxiv：2401.16635v3 [cs.lg] 2024年10月22日](/simg/e/e568890926ce2fd605f82e93813aebae8f6dbc29.webp)
机构名称：
¥ 1.0
从人类馈回（RLHF）中学习的强化学习是一种将大语模型与人类价值保持一致的广泛采用的方法。但是，RLHF依赖于经过有限数量的人类偏好数据训练的奖励模型，这可能导致预测不准确。结果，RLHF可能会产生与人类价值观未对准的输出。为了减轻此问题，我们为奖励合奏方法提供了奖励模型，可以做出更准确的谓词。使用基于大语模型的大型奖励模型可以是计算和资源廉价的，我们探索了效率的合奏方法，包括线性层集合和基于洛拉的合奏。经验上，我们通过结合奖励模式运行最佳n和近端政策优化，并验证我们的集合方法有助于提高RLHF输出的对齐性能。
arxiv：2401.16635v3 [cs.lg] 2024年10月22日
主要关键词
![arxiv：2401.16635v3 [cs.lg] 2024年10月22日PDF文件第1页](/bimg/b/b0c7d58ea7eb69819bbbe9548973aceb5f89bf36.webp)
![arxiv：2401.16635v3 [cs.lg] 2024年10月22日PDF文件第2页](/bimg/2/280a6434a690c5fbbddca4a9d13f513ee0e49d5c.webp)
![arxiv：2401.16635v3 [cs.lg] 2024年10月22日PDF文件第3页](/bimg/2/270b392711f932e5ad300863def4bcb47260b192.webp)
![arxiv：2401.16635v3 [cs.lg] 2024年10月22日PDF文件第4页](/bimg/3/3c7dd6b6e0558f1b0aafff934d5ac49af498b4ac.webp)
![arxiv：2401.16635v3 [cs.lg] 2024年10月22日PDF文件第5页](/bimg/0/0bf8b0f82fa585f89775eb247603d9f3b76231bf.webp)
相关文件推荐
![arxiv：2401.11305v3 [CS.CR] 2024年10月28日](/simg/2/23083580b9199c403b25bf4a8f0a0fddf7e0c940.webp)
![arxiv：2305.14244v2 [cs.lg] 2024年4月22日](/simg/3/3371c9b501d023f5dc183049dc7f3b5a0ea8b755.webp)
![arxiv：2410.17551v1 [cs.lg] 2024年10月23日](/simg/7/70fc63fcc3ad9d13137d19c4907749c6a3957d30.webp)
![arxiv：2401.06521v1 [cs.cv] 2024年1月12日](/simg/a/ac4e8a79e62bb77bebd81435441586ea29fdf974.webp)
![arxiv：2401.14907v2 [cs.ro] 2024年11月29日](/simg/0/0d8974404b80c2e87a42eedcdacbe5baabb4b814.webp)
![arxiv：2401.01629v1 [cs.lg] 2024年1月3日](/simg/1/1904bc517d8e8e8c1dd7feb32aa47246b6aebc73.webp)
![arxiv：2401.01814v1 [cs.ai] 2024年1月3日](/simg/9/9e22f37b844b140e65a21cb38f0226d32812aded.webp)
![arxiv：2401.08196v1 [cs.cr] 2024年1月16日](/simg/5/5bb0478276a4b028ca3fad6d478119cce0aad711.webp)
![arxiv：2403.07179v2 [cs.lg] 2024年10月2日](/simg/0/0df373e396132a43ff5c87c9a460e5a31cd601b1.webp)
![arxiv：2410.17504v1 [CS.AI] 2024年10月23日](/simg/4/4dac50798af6ed318dfbcdd611e7b1650e58f2fa.webp)
![arxiv：2406.00387v2 [hep-ph] 2024年10月14日](/simg/8/81c16c4f94a28157775c1dba9602677d3d4b6362.webp)
![arxiv：2401.02355v1 [Quant-ph] 2024年1月4日](/simg/d/d6bdb8f49131806733e5a9ee48e9f7a807f79467.webp)
![arxiv：2401.16208v1 [hep-ph] 2024年1月29日](/simg/c/c892bb3e7837bb02ea448926724b7b4181832ccc.webp)
![arxiv：2302.08093v2 [Quant-ph] 2024年10月7日](/simg/c/c4a2e5bd75c87671a4588dad0ef915a54a973885.webp)
![arxiv：2310.19300v2 [Stat.ml] 2024年10月17日](/simg/7/75059ef4d85fd9c1b6caf88bb31a0f6376342259.webp)
